Súng được thiết kế bởi Nambu Kijirō, một trung tướng Lục quân Đế quốc Nhật Bản, người được mệnh danh là "John Browning của Nhật Bản". Ông cũng là người phát triển thiết kế của dòng súng trường Arisaka Shiki 38 và súng máy hạng nhẹ Shiki 11.

Năm 1904, Kijirō Nambu đã phát triển mẫu đầu tiên của súng ngắn Nambu. Ban đầu, Shiki súng này được sản xuất trong một xưởng cá nhân và không được giới thiệu cho Lục quân. Mãi đến năm 1915, Shiki súng này mới được giới thiệu cho Hải quân.

Một số tài liệu cho rằng, Nambu không thực sự thiết kế Shiki súng này. Khẩu súng này có vẻ ngoài giống Luger P08 của Đức Quốc xã nhưng cách hoạt động giống với Mauser C96 của Đế quốc Đức. Về sau các sĩ quan Mỹ đem các khẩu Luger đến Nhật như chiến lợi phẩm. Do thiếu thông tin, người Nhật đã gọi tên loại súng này là "Nambu 14" thời hậu chiến.

Mãi đến năm 1925 (năm Đại Chính thứ 14), Lục quân Đế quốc Nhật Bản đã được giới thiệu mẫu cải tiến của súng ngắn Nambu là súng ngắn Shiki 14 gần giống như mẫu ban đầu ngoại trừ một số cải tiến nhỏ. Khoảng 279.000 súng ngắn Shiki 14 được sản xuất. Các mẫu sản xuất về sau có vòng cò súng lớn hơn nhiều để phù hợp với các xạ thủ có đeo găng tay.

Súng ngắn Nambu đã được sử dụng bởi các sĩ quan và nghị sĩ của Lục quân Đế quốc Nhật Bản cho đến khi đầu hàng. Sau năm 1945, khá nhiều chỉ huy quân sự Việt Minh sử dụng loại súng này do mua lại hoặc được các sĩ quan Nhật tại Đông Dương tặng lại trước khi trao vũ khí cho Đồng Minh.